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(57) Abstract 

The invention concerns the 
construction of a neural network, 
more particularly it concerns a 
method consisting in determining 
variables to be incorporated in an 
optimal model by evaluating results, 
and the construction of a neural 
network by determining the neural 
links based on a resulting model. 
It consists in inputting an additional 
variable which has random values, 
determining and classifying 
descriptors of the variables, by 
applying a criterion comparing the 
results, for determining an order 
of decreasing significance of the 
descriptors, then eliminating a 
variable whereof the descriptor is 
ranked after that of the additional 
variable. The invention is useful for 
modelling phenomena. 
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LMnvention conceme la construction d'un rdseau de neurones. EUe se rapporte ^ un proc6d6 qui comprend la determination des 
variables ^ incorporer au module optimal par Evaluation des lEsultats, et la construction d'un r6seau de neurones par determination des 
liaisons des neurones en fonction d'un modfele obtenu. II comprend T introduction d'une variable suppldmentaire qui possMe des valeurs 
aldatoires. la determination et le classement des descripteurs des variables, par application d'un entire de comparaison des r^sultats, pour 
la determination d'un ordre de signification decroissante des descripteurs, puis reiimination d'une variable dont le descripteur est classe 
apr&s celui de la variable suppiementaire. Application ^ la modeiisation des phenom^nes. 
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1 

Procede de construction d'un reseau d e neu rones pour la 
modelisation d'un phenomene 

La presente invention concerne un procede de constnac- 
tion d'un reseau de neurones destine a la modelisation d'lan 
phenomene, ainsi qu'\m reseau de neurones realise par mise 
en oeuvre du procede selon 1' invention. 

Bien que 1 • invention concerne iin perfectionnement 
apporte a la construction des reseaux de neurones, on ne 
decrit pas 1' ensemble des principes et precedes utilises de 
fa^on classique pour la construction des reseaux de neurones 
car ils sent connus depuis longtemps, et il existe une 
litterature considerable a leur sujet. On ne decrit done la 
technique anterieure que dans la mesure ou 1 ' invention s'y 
rapporte, et on decrit 1' invention en reference a ces 
aspects de la technique anterieure. 

On considere d'abord un certain nombre de definitions 
utilisees dans le present memoire et qui sont en general 
celles de la technique anterieure. 

Les reseaux de neurones sont des circuits materiels, 
realises par exemple sous forme de circuits integres, mais 
qui peuvent aussi etre realises uniquement sous forme d»un 
logiciel. Un neurone est un element qui possede des entrees 
destinees a recevoir des signaux representatif s de variables 
et une ou plusieurs sorties, et il transmet des donnees de 
sortie ou de resultat par application d'une fonction 
deactivation. 

Dans un reseau de neurones, il existe, en plus des 
neurones, des entrees, au moins une sortie et des liaisons 
formees entre les entrees et les neurones et entre les 
neurones et les sorties, et eventuellement entre les 
neurones. On demontre qu'un reseau de neurones du type 
precite et qui comporte plusieurs couches, c'est-a-dire 
ayant des liaisons en cascade entre des sorties de neurones 
d'une couche et des entrees de neurones d'une autre couche, 
est equivalent a un reseau de neurones a une seule couche 
dite "cachee", c'est-a-dire que tous les neurones du reseau 
n'ont des liaisons qu'avec les entrees et les sorties. 
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Les variables sont des grandeurs qui peuvent prendre 
plusieurs valeurs et participent au phenomene qu'on veut 
modeliser. Le phenomene qu'on veut modeliser peut etre quel- 
conque, mais les reseaux de neurones sont evidemment appli- 
5 ques a des phenomenes dont on ne connait pas la f one t ion qui 
lie les variables au resultat. Si I'on connait cette fonc- 
tion, il est plus simple et plus precis de realiser 
directement un circuit mettant en oeuvre la fonction. 

Un modele d'un phenomene est represente a la fois par 

10 1» ensemble des variables et par le traitement qu'elles 
subissent pour donner le resultat, notamment par les fonc- 
tions d' activation des neurones, Un sous-modele est un 
modele dont une variable au moins a ete elimine. 

La validite d'un modele est determinee par apprentis- 

15 sage, c'est-a-dire par utilisation, comme signaux d' entree, 
des valeurs de variables qui ont ete determinees et dont on 
connait le resultat. L* apprentissage comprend 1 ' application 
de plusieurs exemples, c'est-a-dire de plusieurs groupes de 
valeurs de variables, avec obtention de resultats qui 

20 peuvent etre compares aux resultats des exemples. 

L ' appreciation de la validite d'un modele s'effectue 
par comparaison du resultat obtenu dans 1 ' apprentissage avec 
le resultat de I'exemple considere. 

On utilise aussi des "descripteurs" qui sont des 

25 ensembles des valeurs d'une meme variable dans un ensemble 
d' exemples utilises pour 1 * apprentissage . Get ensemble des 
valeurs de variables peut avoir diverses formes. Dans un 
exemple particulierement interessant, constituant un mode de 
realisation prefere de !• invention, les descripteurs sont 

30 des vecteurs a N dimensions, N etant le nombre d' exemples 
utilises pour 1' apprentissage. Ces vecteurs agissent done 
dans un espace a N dimensions. Chacun de ces vecteurs est 
orthogonal a xin espace a N-1 dimensions qui est defini comme 
etant 1' espace a N-1 dimensions dans lequel la projection du 

35 vecteur du descripteur, suppose non nul, est un point. 

Les definitions qui precedent des termes utilises dans 
le present memoire suggerent deja le probleme auquel 
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s' applique 1' invention et qui est la modelisation d'un 
phenazaene, permettcmt la realisation optiznale d^un reseau de 
neurones dont les entrees resolvent les valeurs des 
variables et dont la sortie ou les sorties representent des 
5 dozmees de resultat. Le procede de construction d'un tel 
rfiseau de neurones con^rend en general, de manidre connue, 
une premidre phase qui, a partir d^un groupe de variables 
trop iznportsuit, determine les seules variables qui doivent 
Stre utilisees parce qu*elles ont \ine signification dans le 

10 phSnomene, et une seconde phase de construction d'tm reseau 
de neurones optimal qui, a partir des signaux representatifs 
des valeurs des variables, trsLnsmet des donnees de resultat 
representant le phSnomSne. 

De maniSre connue, la premidre phase comprend la 

15 determination de descripteurs , en nombre excessif, et la 
selection, parmi I'ensezoble des modeles possibles, de celui 
qui explique de la meilleure maniSre possible le phSnomSne 
observe* II faut noter que cette explication doit tenir 
coznpte de la performance du models (faible ecart entre le 

20 resultat donne par le modele et les observations) , mais 
auBsi de sa complexite (notamment parce que le traitement 
doit etre aussi rapide que possible) . 

On pourrait evaluer tous les modeles possibles. Il faut 
noter qu'un modele a im type (par exemple lineaire ou non, 

25 statique ou dynamique, une structure (definie par la 

famille de fonctions envisagees et 1^ ensemble des variables 
descriptives necessaires) , et des parametres (qui def i- 
nissent la fonction choisie parmi la famille F de 
fonctions) • Une premiere possibilite de selection d'xin 

30 modele comprend la prise en consideration d'lin modele 
complet utilisant tous les descripteurs, puis la realisation 
de tous les sous-modSles possibles et, parmi ces sous- 
modSles possibles, la selection du meilleur. II faut alors 
estimer un noxobre de modeles extremement important. En 

35 effet, lorsque le noxnbre de variables, et done de des- 
cripteurs, est egal a P, il faut estimer 2^ modeles 
separement* Par exeinple, lorsque I'ensexnble cozoporte quinze 
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variableB, le noznbre de modeles possibles a con^arer est de 
32 768. Ce nombre devient vite extrem^ent grand si bien que 
ce precede devient rapidement inutiliaable. 

On a done mis au point d'autres procedes permettant de 
5 reduire le noxnbre de modeles a evaluer. On conxiait ainsi dee 
procedSs destructif et constructif « Dans le prexoier procede, 
on utilise, a partir du modele conqplet S P descriptetire, 
tous les sous-ZQodeles possibles a P-1 descripteurs, on 
selectionne celui qui donne la meilleure performance, et, si 

10 le sous -modele est meilleur que le modele complet, on 
reprend la procedure a partir de celui-cl alors que, s*il 
n'est pas meilleur que le modele complet, on repart du 
modele complet. Dans le procede "constructif" , on part d'un 
moddle a 0 descripteur et on construit les P meddles a 1 

15 descripteur, on choisit le meilleur de ces modeles et on 
' poursuit la procedure par addition d*un descripteur, jusqu'a 
ce que le modele obtenu solt meilleur que tous les modeles 
obtenus par augmentation du noznbre de descripteurs d'une 
unite. Ces deux procSdSs permettent une reduction tres 

20 importante du nombre de modeles a evaluer. 

Par rapport au procSdS de selection de modgle par 
Evaluation de tous les modeles, les deux procSdSs precites 
peuvent ne pas donner un modele optimal. Cependant, lis 
doivent etre souvent utilises dans la mesxire ou 1* evaluation 

25 de la totalite des modeles possibles est en dehors des 
poBsibilit^s des machines disponibles de calcul. Lorsque les 
deux procedes (destructif et constructif) conduisent Sl un 
meme modele, la probability de celui-ci d*etre le meilleur 
module est accrue. L' execution successive des deux procddSs 

30 constructif et destructif nScessite 1' Evaluation de P^ 
modeles, c*est-&-dire un nombre trds inferieur 2^ modeles 
nScessaires pour 1* Evaluation de la totality des modeles • 

Les procedEs de selection des modeles necessitent done 
de ncmbreuses estimations de parametres et 1 * emploi de tests 

35 d' hypotheses statistiques ou de criteres d' information qui 
ne sent pas tou jours faciles a con^rendre par les utili- 
sateurs non inities. 
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L* invention met en oeuvre un nouveau precede pour la 
construction du reseau de neurones dans lequel est utilise 
un nouveau procgdS d* evaluation des modeles* Plus preci- 
sement, aelon I'invention/ les descripteurs sont ordonnes 
5 par ordre de signification decroissante. Au dSpart, 
I'enseznble des P descripteurs est suf f isammant important 
pour dgcrire les donnees. Parmi ces P descripteurs , on 
determine celui qui decrit le mieux la sortie voulue, puis 
le second et ainsi de suite. On obtient ainsi un claasement 

10 des descripteurs. On considere alors les sous-mod31es 
constitues par un seul descripteur, deux descripteurs, trois 
descripteurs « etc., en coinmenfant a chague £ois par le 
descripteur le plus signif icatif. 11 est done possible de 
considSrer tm nombre trSs rSduit de modSles. En outre, aelon 

15 1^ invention, on utilise au noins une variable suppleznentaire 
qui a un descripteur Buppl€mentaire qui est aleatoire, 
c'est-S-dire que les valeurs de la variable supplSmentaire 
sont purement aleatoires. Lorsque les descripteurs sont 
ordonnes, on considere que tous ceux qui se trouvent apres 

20 le descripteur aleatoire ont une signification cpii n'est pas 
supSrieure sL celle du descripteur aleatoire et peuvent done 
St re elimines. 

Plus precis^ment, dans un premier aspect, 1' invention 
conceme un procSdS de construction d'un reseau de neurones 

25 destinS a la modelisation d'un phenom&ne, le reseau compre- 
nant des entrees destinies a recevoir des signaux represen- 
tatifs de valeurs de variables, des neurones destines a 
appliquer une fonction deactivation aux signaux qu'ils 
re^oivent, au moins une sortie destinee a transmettre des 

30 donnSes de resultat du module du phenomene, et des liaisons 
formSes entre les entries et les neurones et entre les 
neurones et la sortie, du type qui comprend, dans une 
premiere etape, la determination des variables qui doivent 
Stre utilisees dans des modeles du phenomene par deter- 

35 mination de descripteurs representatif s chacun des valeurs 
d'une variable, dans une seconde etape, la selection dea 
variables a incorporer a au moins un modele optimal du 
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phSnoDftSne par Svaliiatlon des rSsultats de plusieurs modeles, 
et dans une troisleme etape, la construction d^uzi reseau de 
neurones par detennlnation des liaisons des neurones en 
fonction d^un modele optimal obtenu ; selon 1* invention, le 
5 proc^€ coniprend aussi, 

pendauit ou avant la premiere etape de determination des 
deacripteurs, 1* introduction d'au moins une variable suppl£- 
mentaire qui possdde des valeurs al^atoires, et la deter- 
mination d'tm descripteur repr^sentatif des valeurs de cette 

10 variable supplement aire / 

le classement des descripteurs, y compris celui de la 
variable supplementaire, par application d'un critere de 
comparaison des resultats donnes par les modgles aux donnees 
representatives du resultat du phenomSne, avec determination 

15 d'un ordre de signification decroissante des. descripteurs, 
puis 

1' Elimination d'au moins un descripteur qui, dems 
1> ordre de signification decroissante des descriptexirs, est 
classe apres le descripteur representatif des valeurs de la 

20 variable supplementaire . 

Dans un mode de realisation avantageux, le procSdS 
comporte en outre la representation des descripteurs et du 
resultat du phenomene par des vecteurs d'un espace a N 
dimensions, N etant le nombre d'exezr^les d'un ensemble 

25 d^exemples d' apprentissage du phenomene, cheque exexi9>le 
comprenant au moins une valeur de chacune des variables et 
au moins une donnee representative du resultat du phenomene 
pour les valeurs correspondantes des variables. Dans ce mode 
de realisation, le critere de comparaison utilise pour le 

30 classement des descripteurs est avantageusement une cra^a- 
raison, dans 1* espace & N dimensions, des angles formes par 
un vecteur representatif d'un descripteur avec le vecteur 
representatif du resultat du phenomene. 

Dans ce mode de realisation, 1' etape de classement 

35 comprend de preference la determination du premier des- 
cripteur dans 1' ordre de signification decroissante des 
descripteurs, et la projection des vecteurs descripteurs 
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restants et du vecteur resultat sur I'espace a une dimension 
de xnoins qui est orthogonal a ce premier descriptexir ; 
ensuite/ cette etape con^srend le classement des descripteurs 
dans cet espace a une dimension de mo ins pour la deter- 
5 mination du premier, dans I'ordre de signification deorois- 
sante, des descripteurs restants, et la projection des 
vecteurs descripteurs restants et du vecteur rgsultat sur un 
espace a une dimension de moins qui est orthogonal au 
premier descripteur dans l*ordre de signification decrois- 

10 sante des descripteurs restants, puis la repetition de ces 
Stapes jusqu*au classement de tous lea descripteurs ou 
jusqu'au classement du descripteur representatif des valeurs 
de la variable suppl&aentaire. 

De prfifSrence, la construction d'au moins un modSle 

15 optimal du phenomene par Evaluation des rSsultats de plu- 
sieurs modules cos^rend la construction de plusieurs sous- 
modeles successifs du phenomene, chaque sous-modele conte- 
nant une variable de plus que le sous-modele precedent, la 
variable ajoutee 6tant choisie dans I'ordre de signification 

20 decroissante des descripteurs, la variable du premier sous- 
modele etant soit une constants, soit la variable la plus 
significative, et la selection d'un sous-modele comme module 
optimal par utilisation d'un critere de selection. 

Dans cet exes^le de realisation, le critSre de selec- 

25 tion d'un sous-xpoddle conprend de preference la selection du 
sous-modele ayant le plus grand nombre de descripteurs 
donnemt un niveau de risque de selection de la variable 
supplementaire qui est inferieur a un niveau choisi de 
seuil. 

30 Dans un second aspect, 1* invention concerne un precede 

de construction d*un reseau de neurones destinS a la moduli - 
sation d'un phSnomene, le rSseau comprenant des entrSes 
destinies & recevoir des signaux representatif s de valeurs 
de variables qui sont reprSsentSes par des descripteurs, des 

35 neurones destines a appliquer une fonction d' activation aux 
signaux qu'ils recjoivent, au moins une sortie destinee a 
transmettre des donnees de rSsultat du module du ph&iom&ne. 
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et des liaisons formees entre les entries et les neurones et 
entre les neurones et la sortie, par determination des. 
liaisons des neurones en fonction du modele ; le procede 
conqprend s 

5 - la construction d'un r^seau de neurones & une seule 

couche dont le nombre de neurones est certainement trop 
Sieve « les entries des neurones correspondant aux descrlp- 
teurs du modSle, le rSseau de neurones contenant en outre^ 
dans sa couche unique, au moins \m neurone supplementaire 
10 ayant xine fonction deactivation dont led parametres ont des 
valeurs aleatoires, et 

- 1' execution d*un processus conprenant, avec le nonibre 
trop eleve de neurones, un apprentissage des neurones par 
utilisation dee descripteurs, et 1 ■ elimination au moins du 

15 neurone ayant la contribution la moins significative au 
resultat, afin que le rSsaau ait un nombre plus petit de 
neurones, puis 

- la repetition de ce processus avec le nombre plus 
petit de neurones, au moins jusqfu'a ce que le neurone a 

20 Sliminer soit tm neurone supplementaire. 

Dans ce mode de rSalisation, 1* apprentissage des 
neurones par utilisation des descripteurs est effectue de 
preference avec une partie seulement des exemples . XI est 
avantageux que l^exScution d<\xn processus cos^rexme, avant 

25 1' Elimination d'un neurone, au moins une repetition d'un 
apprentissage pour la confirmation du neurone ayant la 
contribution la moins significative. 

II est avantageux que le modele du phenomene utilise 
soit im module optimal obtenu par mise en oeuvre du procSdS 

30 selon le premier aspect de l*invention« 

D'autres caractiristiques et avantages de 1* invention 
ressortiront mieux de la description qui suit d'un exemple 
de realisation, faite en rSfSrence au dessin azinexS sur 
leqpiel ; 

35 - la figure 1 est un diagraxnme vectoriel representant 

geometriquement un algorithme de con^araison des des- 
cripteurs ; 
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- la figure 2 est un graphlgue indiquant les reaultats 
obtenus d'une part avec une procedure dite "de Gram-Sclrmi dt" 
el: d' autre part avec Evaluation des performcuices de tous les 
sou8-modeles d'\m ensemble couplet ; 

- la figure 3 est un graphique indiquant le resultat 
donnS par I'algorithme d' Evaluation de Gram- Schmidt et la 
repartition du classement de la variable aleatoire ; et 

- la figure 4 est un graphique illustrant un processus 
modSlise dans \xxx exenqale de xoise en oeuvre du procfide de 
1' invent ion ♦ 

On considers un exenple plus detallle de mise en oeuvre 
de 1' invention en reference a un exemple dans lequel on 
cherche S, modgliser un processus. 

On dispose de P descripteurs (c ' est-a-dire qu'on 
suppose initialement qpie P variables peuvent participer au 
resultat) . On construit done P descripteurs sous fonne de 
vecteurs dans un espace a N dimensions, N Stant le nombre 
d'exemples. Chaque exemple comprend une valeur de chacune 
des P variables, et au moins la valeur d'un resultat. 

Pour le classement des descripteurs, on utilise avsmta- 
geusement I'algorithme d*orthogonalisation de Gram-Schmidt 
modifie gu'on decrit maintenant rapidement. On peut cepen- 
dant se reporter avantageusement, pour plus de details, a 
1 'article de S.Chen, S. A. Billings et W.Luo, "Orthogonal 
least squares methods and their application to non- linear 
system identification". International Journal of Control, 
Vol. 50, n** 5, p. 1873 a 1896, 1989. 

L ' algor ithxoe d'orthogonalisation de Gram-Schmidt consi- 
dere les descripteurs et la sortie voulue comme des 
vecteurs. Les notations sont les suivantes : 
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avec Xp = 



a I'entrSe P et y 



La matrlce X est la matrlce des entrees (P colonnee 
correspondent aux P descripteurs du xnodele et N llgnes 
reprSsentent les N exes^les de 1' ensemble d'apprentissage) . 
On considere que la matrlce X est cozi^osee de P vecteurs 
10 representant chacun une entr4e. Le vecteur Y est le vecteur 
de sortie (N lignes correspondent axix sorties observees des 
N exenples} . 

A la premiere iteration, on determine le vecteur 
d* entree qui °expllque" le zoieux la sortie. Pour cela, on 

15 determine 1' angle du vecteur de sortie avec qhaque vecteur 
d* entree. On Svalue a cet effet le carre des cosinus des 
angles* Le vecteur sSlectionnS est celui pour lequel le 
carre des cosinus est maximal. 

Une fois determine ce vecteur le plus signif icatif, on 

20 elimine sa contribution en projetant le vecteur de sortie et 
tous les vecteurs d'entrSe restants sur un sous-eepace ou 
espace a N-1 dimensions qui est orthogonal au vecteur 
selectionni. 

L'algorithme se poursuit jusqu'a ce que tous les 
25 vecteurs d' entree aient ete ordonnSs. Selon 1' invention, on 
peut interrompre 1* evaluation lorsqu'on doit selectionner le 
vecteur aleatoire. 

A chaque iteration, on calcule la solution ordinaire 
des moindres carres et la valeur de 1 ' ecart quadratique 
30 moyen correepondant » L* estimation des parametres de la 
regression des moindres carrSs est obtenue par resolution 
d^une equation linSaire ayant une matrlce triangulaire supe- 
rieure et la norme du vecteur de sortie projet€ determine la 
valeur de 1* ecart quadratique moyen. 
35 La figure 1 indique 1 ' interpretation geometrique de 

I'algorithme qu'on vient de decrire. Sur cette figure, on a 
represente un espace a detix dimensions. Le vecteur de sortie 
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Y est mieux "explique" par le vecteur X2 que par le vecteur 
(1' angle 62 est plus petit que 1' angle 6^) • On aelectioxine 
done Z2 comme premier descripteur . Pour eliminer la partie 
expllguee par ce descrlptetir, on projette les vecteurs Y at 
5 Xx (et de fa^on generale tous lee vecteurs restants) sur le 
sous-espace orthogonal au vecteur X2« Les projections sont 
utilisees pour la selection du descripteur suivant mais, 
dans le cas de deux dimensions, il n'en existe plus 
puisqu'il ne reste plus qu'un seul vecteur d' entree X^. 

10 L'algorithme de Grcmi- Schmidt qu'on vlent de deer ire ne 

donne pas toujours le resultat optimal. La figure 2 indique 
les resultats obtenus d'une part avec 1' algorithms de Oram- 
Schmidt et d' autre part avec Evaluation des performances des 
1 024 sous-modeles d'lm ensemble couplet comprenant quinze 

15 points d'apprentissage de dix descripteurs dont cinq seule- 
ment sont pertinents* Les croix representent les rdsultats 
des 1 024 sous-modeles possibles et la courbe le sous-modele 
sSlectionne par I'algoritbme de Gram- Schmidt . On note que, 
a 1* exception du sous-modele a trois descripteurs, les sous- 

20 modeles obtenus sont toujours les meilleurs. 

On a ports sur la figure 3 en superposition, en fonc- 
tion du nraibre de descripteurs, le resultat donne par 
I'algorithme d' evaluation de Oram- Schmidt et la repartition 
du dassement de la variable alSatoire, avec indication, sur 

25 I'echelle des ordonnees de droite, de la probability en 
pourcentage. On note ainsi que la probabilite poiir que la 
variable aleatoire soit comprise dans les cinq premiers 
descripteurs est inferieure a 10 %. On peut ainsi determiner 
que, si I'on selectionne un sous-modele a cinq descripteurs, 

30 la probabilitg pour qu'une variable alSatoire explique mieux 
le probldme posS qu'un des cinq descripteurs sSlectionnSs 
est inffirieure S 10 %. Le niveau de risque determine le 
noiAbre de descripteurs retenu. Ce niveau de risque ne doit 
pas etre trop Sieve, car des variables non signlf icativee 

35 peuvent alors d'etre incorporees- II ne doit pas etre trop 
faible car des valeiirs slgnif icatives peuvent de ne pas etre 
incorporees. Dans le cas represent^, les seules possibilitSs 
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de sSlection sont cinq ou six descripteurs^ c'est-a-dire le 
noxDbre rSel de descripteurs significatifs 
augmente d'xin descripteur non significatif. 

Cette repartition du classement de la variable 
5 alSatoire peut aussi 3tre realisSe uniguement par le calcul, 
mais on ne dgcrit pas celui-ci. 

Le traitexnent gu*on vient de dScrire permet ainsi de 
determiner les deacripteurs qui doivent Stre conserves at le 
mpdele optimal. On peut alors construire un reseau de neu- 
10 rones • 

On a de j a demontre que n * importe quel reseau de 
neurones a plusieurs couches de type non boucle pouvait etre 
represente par un reseau de neurones a une seule couche 
cachee. On utilise done initialement \in reseau de neurones 

15 a tine couche cachee dont le nombre de descripteurs (couche 
d"entrSes} a &t6 ddterminfi, et ayant un nombre de neurones 
trop eleve, puis on elixaine les neurones qui n'ont pas une 
contribution significative. On poursuit 1 * apprentissage avec 
les neurones restants, et on elimine a nouveau les neurones 

20 inutiles. On arrete la procedure lorsqu'on n^ elimine plus 
aucun neurone. 

Dans un mode de rSalisation particulierement avantageux 
de !■ invention, on utilise un processus analogue a celui de 
la selection des descripteurs pour la selection des neu- 

25 rones. Plus precisement, on introduit un neurone supplS- 
mentalre ayant \me fonction d' activation qui n'est pas 
lineaire et dont les paramStres sont aleatoires. Dans cette 
realisation, on execute la procedure jusqu^a ce que ce 
neurone supplSmentaire se classe aprSs les autres neurones. 

30 (De maniere connue, les fonctions deactivation sont 
continues f derivables et bomSea, et des exemples sont les 
fonctions trigonomStriques hyperboliques, telles que la 
tangente hyperbolique, et les fonctions gaussiennes) . 

Si I'on dispose d'un tres grand nombre d* exemples pour 

35 1' apprentissage, il est possible que le neurone supplemen- 
taire soit tout de suite classe le dernier. Dans ce cas, 
1' utilisation d'un tel neurone supplementaire ne prfisonte 
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pas d'interet. II est alors preferable d'utiliser un sous- 
enseznble reduit pour 1 ■apprentissage, afin que le neurone 
suppl^entalre ne soit pas inmediatemezit le dernier. 
L ■ apprentissage s'effectue but les exmaples de ce sous- 
5 enseiDble, on conserve la valeur noyenne de I'ecart quadra- 
tlque sur le reste de 1* ensemble, et on applique la 
procedure de selection aux exemples du sous-ensenible ; les 
coefficients du reseau de neurones correspondent a la valeur 
moyenne minima le de 1 ■ Scart quadratique ainsi calcule. 

10 De cette maniere, on supprime les neurones classes 

apres le neurone supplementaire. 

Le procgd£ selon 1' invention presente, grace au classe- 
ment des descripteurs, I'interSt d^indiquer (juelles sont les 
variables les plus signif icatives. II permet \ine reduction 

15 considerable du temps de calcul nScessaire pour 1* evaluation 
des descripteurs signif icatifs, puis pour la construction du 
reseau de neurones. 

L' invention concerne aussi des reseaux de neurones 
rgalises par mise en oeuvre du precede precite. Ces reseaux 

20 de neurones, lorsque leur structure optimale a §tS ainsi 
Svaluee par mise en oeuvre du precede de 1' invention, 
peuvent etre realises par exemple sous forme de circuits 
intSgreSr avec determination des liaisons entre les entrSes, 
les neurones et la sortie ou les sorties, et avec deter 

25 xoination des fonctions d' activation des neurones. 

On conslddre maintenant, a titre d* illustration, un 
exeiz^>le d* application de 1' invention a la solution d'un 
probleme de modelisation destinS Sl la simulation d'un 

30 processus. 

La figure 4 est un graphique repr^sentcuit, en ordon- 
nSes, la valeur donnSe par \m processus (sur une echelle 
allant de -15 S, 4-15) en fonction du temps t, porte en 
abscisses. La courbe en trait gras represente la valeur 

35 donnee yp(t) par le processus en fonction d*une commande u(t) 
reprSsentSe par la courbe en trait fin. 
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Dans la premiere phase du precede , on cholslt 20 
variables possibles yp{t-l) a yp(t-lO) et u{t-l) a u{t-10) . 
Le graphique de la figiire 4 pemet d'etablir 20 descriptexirs 
correspondant aux 20 variables pour 1 000 exes^les* On 
5 ajoute un descripteur aleatoire, on execute la premidre 
phase du proc5dS« et on obtient f inalement les 3 variables 
yp(t-l), yp(t-2) et u(t-l) . 

On construit alors un reseau de neurones r^resentatif 
de ce processus. On utilise initialement un reseau a 20 
10 ne\irones, plus un neurone aleatoire, chaque neurone ayant 
une fonction d' activation en forme de sigmoide* Apres un 
premier passage, il reste 17 neurones. AprSa un second 
passage, 11 reste 14 neurones. Le traitement s'arrdte a 11 
ou 12 neurones. 

15 Pour Svaluer I'intSrSt du procSde de 1 'invention, on 

construit 21 reaeaux de neurones diffSrenta (de 0 a 20 
neurones) , et on les coznpare pour determiner le meilleur, 
par determination de I'Scart quadratigue moyen en fonction 
du noznbre de neurones. Cette evaluation est tres longue et 

20 necessite d'importants moyens de calcul. Le resultat indigue 
que le meilleur reseau comporte 11 neurones. Ce resultat 
confirme Inexactitude du resultat obtenu beaucoup plus 
rapidement par le precede de 1^ invention* 

II est bien entendu que 1' invention n'a et6 decrite et 

25 reprSsentSe qu'S titre d'exemple preferentiel et qu'on 
pourra apporter toute equivalence technique dans ses 
elements constitutifs sans pour autant sortlr de son cadre. 
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1. Procede de construction d*mi reseau de neurones 
destine a la modelisation d'un phenomene/ le reseau compre- 
nant des entries destinSes a recevoir des signaux repre- 
5 8entati£s de valeurs de variables, des neurones destines a 
appliguer une fonction deactivation aux signaiuc gu'ils 
regoivent, au moins une sortie destinSe S transmettre des 
donnees de resultat du modele du phenomSne, et des liaisons 
formees entre les entrees et les neurones et entre lee 
10 neurones et la sortie, 

du type qui comprend : 

dans une premiere etape, la detexmination des variables 
qui doivent etre utilisees dans des modeles du phenozoene par 
determination de descrlpteurs reprSsentatifis chacun des 
15 valeurs d*une variable, 

dans une seconde etape, la selection des variables a 
incorporer a au moins \m modSle optimal du phSnomene par 
Evaluation des resultats de plusieurs modeles, et 

dans une troisieme etape, la construction d*un reseau 
20 de neurones par determination des liaisons des neurones en 
fonction d'un modele optimal obtenu, 

caracterise en ce que le procSde comprend 

- pendant ou avant la premiere etape de determination 
des descripteurs, 1^ introduction d'au moins une variable 

25 supplementaire qui possede des valeurs alSatoires, et la 
determination d'un descripteur reprSsentatif des valeurs de 
cette variable supplementaire, 

- le classement des descripteurs, y compris celui de 
la variable supplementaire, par application d'un critere de 

30 comparaison des resultats donnes par les modeles aux donnees 
representatives du risultat du phSnomene, avec determination 
d'un ordre de signification decroissante des descripteurs, 
puis 

- 1' elimination d'au moins un descripteur qui, dans 
35 1^ ordre de signification decroissante des descripteurs, est 

classe aprSs le descripteur representatif des valeurs -de la 
variable supplementaire. 
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2. Procede selon la revendlcatlon 1, caracterlse en ce 
qu*il comporte en outre la representation des descripteurs 
et du resultat du phenomene par des vecteurs d'un espace a 
N dimensions, N dtant le nosnbre d'exen^les d^\m ensemble 
5 d'exenqples d'apprentissage du phSncunene, cheque exemple 
coxnprenant au moins une valeur de chacune des variables et 
au moins \ine donn€e representative du r§sultat du phSnomgne 
pour les valeurs correapondantes des variables « 

3 • Procede selon la revendication 2 , caracterisd en ce 
10 que le critere de coinparaiaon utilise pour le classement des 
descripteurs est une comparaiaon, dans 1' espace a N 
dimensions, des angles £orm€s par un vecteur repr^sentatif 
d*un descripteur avec le vecteur reprgsentatif du rSsultat 
du phenomene. 

15 4* Procede selon la revendication 3, caracterisS en ce 

que l'€tape de classement conq^rend la determination du 
premier descripteur dans I'ordre de signification dScrois- 
sante des descripteurs, et la projection des vecteurs des* 
cripteurs restants et du vecteur resultat sur 1* espace a une 

20 dimension de moins cpii est orthogonal a ce premier des- 
cripteur, puis le classement des descripteurs dans cet 
espace & une dimension de moins pour la determination du 
premier, dams I'ordre de signification decroisssuite, des 
descripteurs restants, et la projection des vecteurs des- 

25 cripteurs restants et du vecteur resultat sur un espace & 
une dimension de moins qui est orthogonal au premier 
descripteur dans I'ordre de signification decroissante des 
descripteurs restants, et la rSpStition de ces Stapes 
jusqu'au classement de tous les descripteurs ou jusqu'au 

30 classement du descripteur representatif des valeurs de la 
variable supplementaire. 

5. Precede selon I'une guelconque des revendications 
prScSdentes, caract6ris€ en ce que la construction d'au 
moins un modele optimal du phenomene par evaluation des 

35 resultats de plusieurs modeles, coic^rend 

- la construction de plusieurs sous -modeles successifs 
du phenomene, cheque sous -modele contenant une variable de 
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plus que le sous-modele precedent, la variable ajoutee etauit 
choisie dans I'ordre de signification decroissante des 
descripteurs , la variable du premier aous-modele etant soit 
une constante, soit la variable la plus significative, et 

- la selection d*un soua-znodele comme modele optimal 
par utilisation d'un critere de selection. 

6. ProcSde selon la revandication 5, caractSrise en ce 
que le critere de selection d'un sous -modele comprend la 
selection du sous-modele ayant le plus grand noinbre de 
descripteurs donnsmt iin niveau de risque de selection de la 
variable supplSmentaire qui est inferieur a un niveau choisi 
da seuil • 

7. Proc£d€ de construction d'un reseau de neurones 
destinS & la modfilisation d'un phenomene, le rSseau CCTqpre- 
nant des entries destinies & recevoir des signaux repr€- 
sentatifs de valeurs de variables qui sont representees par 
des descripteurs, des neurones destines a appliquer une 
fonction deactivation aux signaux qu'ils re<;oivent, au moins 
une sortie destinSe a transmettre des donnees de rSsultat du 
modele du phenomene, et des liaisons formges entre les 
entries et les neurones et entre les neurones et la sortie, 
par determination des liaisons des neurones en fonction du 
module, caracterisS en ce qu'il con^rend : 

- la construction d'un rSseau de neurones a une seule 
couche dont le nombre de neurones est certainement trop 
eleve, les entries des neurones correspondant a\ix descrip- 
teurs du modele, le reseau de neurones contenant en outre, 
dans sa couche unique, au moins un neurone supplementaire 
ayant une fonction d' activation dont les pareungtres ont des 
valeurs alSatoires, et 

- 1* execution d'un processus cooiprenant, avec le xuoaibxe 
trop §lev6 de neurones, un a^rentissage des neurones par 
utilisation des descripteurs, et 1 ' elimination au moins du 
neurone ayant la contribution la moins significative au 
resultat, afin que le reseau ait un nombre plus petit de 
neurones , pui s 
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- la repetition de ce processus avec le noxobre plus 
petit de neurones, au moins jusgu'a ce que le neurone a 
eiiminer soit un neurone supplementaire. 

8. ProcedS selon la revendication 7, caracterisS en ce 
que l^apprentissage des neurones par utilisation des des- 
cripteurs est e££ectui avec une partie seulement dee 
exexnples « 

9. ProcSdS selon I'une des revendications 7 et 8, 
caracterise en ce que 1* execution d'un processus comprend, 
avant 1 ' elimination d'un neurone, au moins xme repetition 
d'un apprentissage pour la confirmation du neurone ayauit la 
contribution la moins significative. 

10. ProcSde selon l*une quelconque des revendications 
7 & 9, caractSrisS en ce que le modele du phenomene utilisfi 
est un modele optimal obtenu par mise en oeuvre d'un procSdS 
selon 1 ' \me quelconque des revendications 1 a 6 , 
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